HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents
HybridCUA：学习编排 GUI 与 CLI 的计算机使用智能体
🧭 Agent 多模态交互与工具编排 ★ 深度解读
Zhejiang University · Peking University · Tsinghua University
通过统一 bash 动作空间与 CLI-aware 奖励，让 CUA 学会何时用 CLI、如何可靠执行，OSWorld 准确率 53.6% 且步骤减半
📌 工作参考价值（4 点）
- 工具接口统一化：在电商导购 Agent 中，把点击/输入等 GUI 操作与搜索 API、筛选工具统一成同一种 action（如 execute），模型只需学习一个动作语法，降低调度复杂度；本论文统一 bash action 比分开 GUI/CLI tools 高 7.2 个百分点。
- 显式奖励工具选择：对 Agent 的工具使用做两层 reward——任务级根据标签奖励“是否选择了合适的工具”（如该用 API 批量操作时不用 GUI 一步步点），步级惩罚执行失败（如 API 参数错误、SQL 出错），比只给最终成功奖励更能塑造高效且可靠的行为。
- 混合数据构造：从单一 GUI 轨迹转换成等价 CLI 命令并重放验证，可低成本生成混合工具使用数据，不必从头收集。电商场景可以把已有“点击操作”轨迹改写为“调用搜索/下单 API”轨迹，保留成功回放，用于 SFT 温启动。
- SFT+在线 RLVR 两段训练：先 SFT 混合轨迹让模型学会工具切换，再用可验证奖励在线微调，能同时提升任务完成率和降低交互步数（步骤减少 29.3%）。适用于电商 Agent 的购物任务、订单处理等可验证场景。